Python Pandas ピボットテーブル：データ再形成のための包括的なガイド

データ分析の世界では、データを要約、集計、再構築する能力は単なるスキルではなく、スーパーパワーです。生のデータは、そのネイティブな形式では、多くの場合、広大で詳細な台帳に似ています。情報が豊富ですが、解釈が困難です。意味のある洞察を抽出するには、この台帳を簡潔な要約に変換する必要があります。これはまさにピボットテーブルが優れている点で、Pythonプログラマーにとって、Pandasライブラリは強力で柔軟なツールであるpivot_table()を提供します。

このガイドは、データアナリスト、科学者、Python愛好家のグローバルな視聴者向けに設計されています。 Pandas ピボットテーブルのメカニズムを深く掘り下げ、基本的な概念から高度なテクニックまでを学びます。さまざまな大陸からの売上高を要約する場合でも、地域の気候データを分析する場合でも、分散チームのプロジェクトメトリックを追跡する場合でも、ピボットテーブルを習得すると、データの探索方法が根本的に変わります。

ピボットテーブルとは正確には何ですか？

Microsoft ExcelやGoogle Sheetsのようなスプレッドシートソフトウェアを使用したことがある場合は、ピボットテーブルの概念に精通している可能性があります。これは、より大きなデータセットから選択した列と行を再編成して要約し、目的のレポートを取得できるインタラクティブなテーブルです。

ピボットテーブルは2つの重要なことを行います。

• 集計：1つ以上のカテゴリでグループ化された数値データの要約統計（合計、平均、またはカウントなど）を計算します。
• 再形成：データを「長い」形式から「広い」形式に変換します。すべての値を1つの列に持つ代わりに、列の一意な値を「ピボット」して、出力の新しい列に変換します。

Pandas pivot_table()関数は、この強力な機能をPythonデータ分析ワークフローに直接もたらし、再現可能で、スクリプト可能で、スケーラブルなデータ再形成を可能にします。

環境とサンプルデータの設定

始める前に、Pandasライブラリがインストールされていることを確認してください。そうでない場合は、Pythonのパッケージインストーラーであるpipを使用してインストールできます。

pip install pandas

次に、Pythonスクリプトまたはノートブックにインポートしましょう。

import pandas as pd import numpy as np

グローバルセールスデータセットの作成

例を実践的かつグローバルに関連性の高いものにするために、多国籍eコマース企業の販売データを表す合成データセットを作成します。このデータセットには、さまざまな地域、国、製品カテゴリからの販売に関する情報が含まれます。

            
# Create a dictionary of data
data = {
    'TransactionID': range(1, 21),
    'Date': pd.to_datetime([
        '2023-01-15', '2023-01-16', '2023-01-17', '2023-02-10', '2023-02-11',
        '2023-02-12', '2023-03-05', '2023-03-06', '2023-03-07', '2023-01-20',
        '2023-01-21', '2023-02-15', '2023-02-16', '2023-03-10', '2023-03-11',
        '2023-01-18', '2023-02-20', '2023-03-22', '2023-01-25', '2023-02-28'
    ]),
    'Region': [
        'North America', 'Europe', 'Asia', 'North America', 'Europe', 'Asia', 'North America', 'Europe', 'Asia', 'Europe',
        'Asia', 'North America', 'Europe', 'Asia', 'North America', 'Asia', 'Europe', 'North America', 'Europe', 'Asia'
    ],
    'Country': [
        'USA', 'Germany', 'Japan', 'Canada', 'France', 'India', 'USA', 'UK', 'China', 'Germany',
        'Japan', 'USA', 'France', 'India', 'Canada', 'China', 'UK', 'USA', 'Germany', 'India'
    ],
    'Product_Category': [
        'Electronics', 'Apparel', 'Electronics', 'Books', 'Apparel', 'Electronics', 'Books', 'Electronics', 'Apparel',
        'Apparel', 'Books', 'Electronics', 'Books', 'Apparel', 'Electronics', 'Books', 'Apparel', 'Books', 'Electronics', 'Electronics'
    ],
    'Units_Sold': [10, 5, 8, 20, 7, 12, 15, 9, 25, 6, 30, 11, 18, 22, 14, 28, 4, 16, 13, 10],
    'Unit_Price': [1200, 50, 900, 15, 60, 1100, 18, 950, 45, 55, 12, 1300, 20, 40, 1250, 14, 65, 16, 1150, 1050]
}

# Create DataFrame
df = pd.DataFrame(data)

# Calculate Revenue
df['Revenue'] = df['Units_Sold'] * df['Unit_Price']

# Display the first few rows of the DataFrame
print(df.head())

            

              
                Copy
              
            
          

このデータセットは、カテゴリデータ（地域、国、製品カテゴリ）、数値データ（Units_Sold、Revenue）、および時系列データ（Date）の組み合わせにより、強固な基盤を提供します。

pivot_table()の構造

Pandas pivot_table()関数は非常に用途が広いです。最も重要なパラメーターを分解してみましょう。

pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, margins_name='All')

• data：ピボットするDataFrame。
• values：集計するデータを含む列。指定しない場合、残りのすべての数値列が使用されます。
• index：新しいピボットテーブルの行を形成する一意の値を持つ列。これは、「グルーピングキー」と呼ばれることもあります。
• columns：新しいテーブルの列を形成するために「ピボット」される一意の値を持つ列。
• aggfunc：「values」に適用する集計関数。これは、「sum」、「mean」、「count」、「min」、「max」などの文字列、またはnp.sumのような関数です。異なる関数を異なる列に適用するには、関数のリストまたは辞書を渡すこともできます。デフォルトは「mean」です。
• fill_value：ピボットテーブルの欠落した結果（NaN）を置き換える値。
• margins：ブール値。Trueに設定すると、行と列の小計が追加されます（別名、総計）。
• margins_name：margins=Trueの場合に合計を含む行/列の名前。デフォルトは「All」です。

最初のピボットテーブル：簡単な例

一般的なビジネスの質問から始めましょう。「各製品カテゴリで生成された総収益は？」

これに答えるには、次のことを行う必要があります。

• 行にProduct_Categoryを使用します（index）。
• Revenue列を集計します（values）。
• 合計を集計関数として使用します（aggfunc）。

            
# Simple pivot table to see total revenue by product category
category_revenue = pd.pivot_table(df, 
                                  values='Revenue', 
                                  index='Product_Category', 
                                  aggfunc='sum')

print(category_revenue)

            

              
                Copy
              
            
          

出力：

                  Revenue
Product_Category         
Apparel             1645
Books               1184
Electronics        56850

すぐに、明確で簡潔な要約が得られます。生の20行のトランザクションログは、質問に直接答える3行のテーブルに再形成されました。これがピボットテーブルの基本的な力です。

列ディメンションの追加

次に、これを拡張しましょう。製品カテゴリごとの総収益を確認したいが、地域別にも分割したい場合はどうでしょうか？ここで、columnsパラメーターが役立ちます。

            
# Pivot table with index and columns
revenue_by_category_region = pd.pivot_table(df, 
                                            values='Revenue', 
                                            index='Product_Category', 
                                            columns='Region', 
                                            aggfunc='sum')

print(revenue_by_category_region)

            

              
                Copy
              
            
          

出力：

Region              Asia  Europe  North America
Product_Category                               
Apparel           1125.0   625.0            NaN
Books              336.0   360.0          488.0
Electronics      13200.0  14550.0        29100.0

この出力ははるかに豊富です。「Region」列（「Asia」、「Europe」、「North America」）の一意の値を新しい列にピボットしました。これで、さまざまな製品カテゴリが地域全体でどのように機能しているかを簡単に比較できます。また、NaN（非数値）値も表示されます。これは、データセットで「North America」の「Apparel」の販売が記録されなかったことを示しています。これはそれ自体で貴重な情報です！

高度なピボットテクニック

基本は強力ですが、pivot_table()の真の柔軟性は、その高度な機能で明らかになります。

fill_valueを使用した欠損値の処理

以前のテーブルのNaNは正確ですが、レポート作成やさらなる計算を行うには、ゼロとして表示する方が望ましい場合があります。fill_valueパラメーターを使用すると、これが簡単になります。

            
# Using fill_value to replace NaN with 0
revenue_by_category_region_filled = pd.pivot_table(df, 
                                                     values='Revenue', 
                                                     index='Product_Category', 
                                                     columns='Region', 
                                                     aggfunc='sum', 
                                                     fill_value=0)

print(revenue_by_category_region_filled)

            

              
                Copy
              
            
          

出力：

Region              Asia  Europe  North America
Product_Category                               
Apparel             1125     625              0
Books                336     360            488
Electronics        13200   14550          29100

テーブルは、特に非技術的な視聴者にとって、よりクリーンで読みやすくなりました。

複数のインデックスの操作（階層インデックス）

行で複数のカテゴリでグループ化する必要がある場合はどうでしょうか？たとえば、Regionで販売を分割し、次に各地域内のCountryで分割してみましょう。列のリストをindexパラメーターに渡すことができます。

            
# Multi-level pivot table using a list for the index
multi_index_pivot = pd.pivot_table(df, 
                                   values='Revenue', 
                                   index=['Region', 'Country'],
                                   aggfunc='sum',
                                   fill_value=0)

print(multi_index_pivot)

            

              
                Copy
              
            
          

出力：

                     Revenue
Region        Country         
Asia          China        488
              India       1760
              Japan      10860
Europe        France      1020
              Germany    14440
              UK          1115
North America Canada      17800
              USA        12058

Pandasは、行にMultiIndexを自動的に作成しました。この階層構造は、データにドリルダウンし、入れ子になった関係を確認するのに最適です。columnsパラメーターに同じロジックを適用して、階層列を作成できます。

複数の集計関数の使用

場合によっては、1つの要約統計だけでは十分ではありません。各グループの総収益（合計）と平均トランザクションサイズ（平均）の両方を確認することもできます。関数のリストをaggfuncに渡すことができます。

            
# Using multiple aggregation functions
multi_agg_pivot = pd.pivot_table(df, 
                                 values='Revenue', 
                                 index='Region', 
                                 aggfunc=['sum', 'mean', 'count'])

print(multi_agg_pivot)

            

              
                Copy
              
            
          

出力：

                     sum          mean  count
                 Revenue       Revenue Revenue
Region                                      
Asia          13108.000000   2184.666667       6
Europe        16575.000000   2762.500000       6
North America 29858.000000   4976.333333       6

この単一のコマンドは、総収益、トランザクションあたりの平均収益、および各地域のトランザクション数という包括的な要約を提供します。 Pandasがどのように階層列を作成して出力を整理しているかに注目してください。

異なる値を異なる関数に適用する

さらに詳細にできます。Revenueの合計を表示したいが、Units_Soldの平均を表示したいとします。辞書をaggfuncに渡すことができます。ここで、キーは列名（「values」）であり、値は目的の集計関数です。

            
# Different aggregations for different values
dict_agg_pivot = pd.pivot_table(df, 
                                index='Region', 
                                values=['Revenue', 'Units_Sold'],
                                aggfunc={
                                    'Revenue': 'sum',
                                    'Units_Sold': 'mean'
                                },
                                fill_value=0)

print(dict_agg_pivot)

            

              
                Copy
              
            
          

出力：

               Revenue  Units_Sold
Region                            
Asia             13108   17.833333
Europe           16575    8.166667
North America    29858   14.333333

このレベルの制御は、pivot_table()を洗練されたデータ分析のための最高のツールにしているものです。

marginsを使用した総計の計算

レポート作成のために、行と列の合計を持つことは不可欠であることがよくあります。margins=True引数は、これを追加の労力なしで提供します。

            
# Adding totals with margins=True
revenue_with_margins = pd.pivot_table(df, 
                                      values='Revenue', 
                                      index='Product_Category', 
                                      columns='Region', 
                                      aggfunc='sum', 
                                      fill_value=0,
                                      margins=True,
                                      margins_name='Grand Total') # Custom name for totals

print(revenue_with_margins)

            

              
                Copy
              
            
          

出力：

Region              Asia  Europe  North America  Grand Total
Product_Category                                            
Apparel             1125     625              0         1750
Books                336     360            488         1184
Electronics        13200   14550          29100        56850
Grand Total        14661   15535          29588        59784

Pandasは、各行の合計（すべての地域にわたる製品カテゴリごとの総収益）と各列の合計（すべてのカテゴリにわたる地域ごとの総収益）、プラス右下のすべてのデータの総計を自動的に計算します。

実用的なユースケース：時間ベースの分析

ピボットテーブルは静的カテゴリに限定されません。時系列データの分析に非常に役立ちます。各月の総収益を見つけましょう。

まず、「Date」列から月を抽出する必要があります。Pandasで.dtアクセサーを使用できます。

            
# Extract month from the Date column
df['Month'] = df['Date'].dt.month_name()

# Pivot to see monthly revenue by product category
monthly_revenue = pd.pivot_table(df,
                                 values='Revenue',
                                 index='Month',
                                 columns='Product_Category',
                                 aggfunc='sum',
                                 fill_value=0)

# Optional: Order the months correctly
month_order = ['January', 'February', 'March']
monthly_revenue = monthly_revenue.reindex(month_order)

print(monthly_revenue)

            

              
                Copy
              
            
          

出力：

Product_Category  Apparel  Books  Electronics
Month                                        
January               250    360        23100
February              795    794        24250
March                 705     30         9500

このテーブルは、各カテゴリの販売パフォーマンスを時系列で明確に示し、傾向、季節性、または異常を容易に特定できます。

pivot_table() vs. groupby()：違いは何ですか？

これは、Pandasを学習している人にとってよくある質問です。2つの関数は密接に関連しており、実際には、pivot_table()はgroupby()の上に構築されています。

• groupby()は、より一般的で基本的な操作です。これは、いくつかの基準に基づいてデータをグループ化し、集計関数を適用できるようにします。結果は通常、階層インデックスを持つPandas SeriesまたはDataFrameですが、「長い」形式のままです。
• pivot_table()は、グループ化を行い、データを再形成する特別なツールです。その主な目的は、データを長い形式から人間が読みやすいワイド形式に変換することです。

最初の例をgroupby()を使用して再検討しましょう。

            
# Same result as our first pivot table, but using groupby
category_revenue_groupby = df.groupby('Product_Category')['Revenue'].sum()

print(category_revenue_groupby)

            

              
                Copy
              
            
          

結果は、最初のピボットテーブルのDataFrameと機能的に同等のPandas Seriesです。ただし、2番目のグルーピングキー（「Region」など）を導入すると、違いが明らかになります。

            
# Grouping by two columns
groupby_multi = df.groupby(['Product_Category', 'Region'])['Revenue'].sum()

print(groupby_multi)

            

              
                Copy
              
            
          

出力（MultiIndexのSeries）：

Product_Category  Region       
Apparel           Asia              1125
                  Europe             625
Books             Asia               336
                  Europe             360
                  North America      488
Electronics       Asia             13200
                  Europe           14550
                  North America    29100
Name: Revenue, dtype: int64

pivot_table(index='Product_Category', columns='Region')と同じ「ワイド」形式を取得するには、groupby()の後にunstack()を使用する必要があります。

            
# Replicating a pivot table with groupby().unstack()
groupby_unstack = df.groupby(['Product_Category', 'Region'])['Revenue'].sum().unstack(fill_value=0)

print(groupby_unstack)

            

              
                Copy
              
            
          

これにより、列を持つピボットテーブルとまったく同じ出力が生成されます。したがって、pivot_table()は、一般的なgroupby().aggregate().unstack()ワークフローの便利なショートカットと考えることができます。

どちらを使用する場合？

• 人間が読みやすいワイド形式の出力を必要とする場合は、特にレポート作成またはクロス集計の作成にpivot_table()を使用します。
• より高い柔軟性が必要な場合、データ処理パイプラインで中間計算を実行している場合、または再形成されたワイド形式が最終目標ではない場合は、groupby()を使用します。

パフォーマンスとベストプラクティス

pivot_table()は強力ですが、特に大きなデータセットでは効率的に使用することが重要です。

1. 最初にフィルタリングし、次にピボットします：データのサブセット（たとえば、過去1年間の販売）のみを分析する必要がある場合は、ピボットテーブルを適用する前にDataFrameをフィルタリングします。これにより、関数が処理する必要のあるデータの量が削減されます。
2. カテゴリタイプを使用する：ピボットテーブルでインデックスまたは列として頻繁に使用する列（「Region」または「Product_Category」など）については、Pandasの「category」dtypeに変換します。これにより、メモリ使用量が大幅に削減され、グループ化操作が高速化されます。
   df['Region'] = df['Region'].astype('category')
3. 読みやすさを維持する：インデックスと列が多すぎるピボットテーブルの作成は避けてください。可能ですが、数百列の幅と数千行の長さのピボットテーブルは、元の生のデータと同じように読み取りにくくなる可能性があります。ターゲットを絞った要約を作成するために使用します。
4. 集計を理解する：aggfuncの選択に注意してください。価格に「sum」を使用することは意味がありませんが、「mean」の方が適している場合があります。常に、集計が答えようとしている質問と一致していることを確認してください。

結論：洞察力のある要約のためのツール

Pandas pivot_table()関数は、あらゆるデータアナリストのツールキットに不可欠なツールです。これは、乱雑で詳細なデータから、クリーンで洞察力のある要約に移行するための、宣言的で表現力豊かで強力な方法を提供します。そのコアコンポーネント（values、index、columns、およびaggfunc）を理解して習得し、マルチレベルインデックス、カスタム集計、マージンなどの高度な機能を活用することで、わずか数行のPythonコードで複雑なビジネスの質問に答えるためにデータを再形成できます。

次に大きなデータセットに直面した場合は、無限の行をスクロールする衝動に抵抗してください。代わりに、答える必要がある質問と、ピボットテーブルがデータ内に隠されたストーリーを明らかにするためにデータをどのように再形成できるかを考えてください。幸せなピボット！